# coding: utf-8

__author__ = 'xnny'

parsingOptions = {
    '_elements_ignore': 			'|button|input|select|textarea|optgroup|command|datalist|--|frame|frameset|noframes|--|style|link|script|noscript|--|canvas|applet|map|--|marquee|area|base|',      #这些元素被忽略
    '_elements_ignore_tag': 		'|form|fieldset|details|dir|--|center|font|span|',  #这些标签忽略
    '_elements_self_closing': 		'|br|hr|--|img|--|col|--|source|--|embed|param|--|iframe|',
    '_elements_visible': 			'|article|section|--|ul|ol|li|dd|--|table|tr|td|--|div|--|p|--|h1|h2|h3|h4|h5|h6|--|span|', #显现这些元素
    '_elements_too_much_content': 	'|b|i|em|strong|--|h1|h2|h3|h4|h5|--|td|',              # 这里有多太重要内容
    '_elements_container': 			'|body|--|article|section|--|div|--|td|--|li|--|dd|dt|',        #这些容器是装内容的
    '_elements_link_density':		'|div|--|table|ul|ol|--|section|aside|header|',     # ？元素连结密度
    '_elements_floating':			'|div|--|table|',   #？ 元素浮动
    '_elements_above_target':		'|br|--|ul|ol|dl|',#?上述目标元素
    '_elements_keep_attributes':                        # 介些属性保留
    {
         'a': 		['href', 'title', 'name'],
        'img': 		['src', 'width', 'height', 'alt', 'title'],

        'video': 	['src', 'width', 'height', 'poster', 'audio', 'preload', 'autoplay', 'loop', 'controls'],
        'audio': 	['src', 'preload', 'autoplay', 'loop', 'controls'],
        'source': 	['src', 'type'],

        'object': 	['data', 'type', 'width', 'height', 'classid', 'codebase', 'codetype'],
        'param': 	['name', 'value'],
        'embed': 	['src', 'type', 'width', 'height', 'flashvars', 'allowscriptaccess', 'allowfullscreen', 'bgcolor'],

        'iframe':	['src', 'width', 'height', 'frameborder', 'scrolling'],

         'td':		['colspan', 'rowspan'],
        'th':		['colspan', 'rowspan']
    }
}

skipStuffFromDomains__links = [
    'doubleclick.net',
    'fastclick.net',
    'adbrite.com',
    'adbureau.net',
    'admob.com',
    'bannersxchange.com',
    'buysellads.com',
    'impact-ad.jp',
    'atdmt.com',
    'advertising.com',
    'itmedia.jp',
    'microad.jp',
    'serving-sys.com',
    'adplan-ds.com']

keepStuffFromDomain__video = [
    'youtube.com',
    'youtube-nocookie.com',

    'vimeo.com',
    'hulu.com',
    'yahoo.com',
    'flickr.com',
    'newsnetz.ch']

# 判断是不是需要路过的链接
def isSkipStuffFroDomainsLinks(link):
    for skipLink in skipStuffFromDomains__links:
        if link.find(skipLink) > 0:
            return True
        else:
            return False

def isSkipStuffFromDomainImages(img):
    for skipImg in skipStuffFromDomain__images:
        if img.find(skipImg) > 0:
            return True
        else:
            return False

def measureText__getTextLength(_the_text):
    _text = _the_text
    return len(_text.decode('utf-8'))

